連絡先の交換を拒否された？

連絡先の交換を拒否された？

毎朝見かける人に声をかけ、それ以来毎朝挨拶と簡単な会話を続けてます。２週間くらいです。
進展したいと思い、アドレスの交換を持ちかけました。
少し間があってから、いいですよ。と言ってくれました。

僕は携帯を取り出し赤外線通信するものだと思ってましたが、相手は携帯を取り出そうとはしませんでした。なので僕は高等で自分のアドレスを伝えようとしましたが、「覚えられないよ」と笑いながら言われました。
たしかにそうだなと思って、まごまごしていると、明日ゆっくり聞きますから。と言ってくれました。

この状況からどう読み取れますか？
今僕は、嫌なのに断りきれずにいる。紙に書いたアドレスを渡されるのを待っていた。携帯本体をみられたりするのが嫌だった。恥ずかしかった。慣れていなかった。今回は流しておいて明日から会わないようにする。これらのような想像をしてしまい、明日どうするか悩んでいます。

僕は明日、どうしたらいいでしょう？相手は明日どうするでしょう？
変な質問でごめんなさい。よろしくお願いします。